Vào năm 970 TCN, con của vua David là vua Solomon trở thành vua của Israel[22]. Trong vòng mười năm, Solomon bắt đầu xây dựng Đền thờ thiêng liêng được biết đến như là Đền thờ Đầu tiên. Khi Solomon chết (khoảng 930 TCN), mười chi tộc phía bắc tách ra để thành lập Vương quốc Israel. Vào năm 722 TCN người xứ Assyria chinh phục vương quốc Israel và làm người Israel phải sống lưu vong, bắt đầu một cộng đồng hải ngoại. Vào thời đại di chuyển và du hành khá hạn chế, người Do Thái trở thành những người dân tỵ nạn đầu tiên và dễ bị để ý. Giai đoạn Đền Thờ thứ nhất kết thúc vào khoảng 586 trước Công Nguyên, khi vua nước Babylon là Nebuchadnezzar II thân chinh đốc suất đại binh phạt Vương quốc Judah và phá hủy Đền thờ Do Thái[23]. Ông ta cướp bóc sạch sành sanh các kho báu trong đền thờ, và còn đày ải nhiều người Do Thái[24]. Những người Do Thái khác từ đó cũng phải đi tha hương để định cư ở nơi khác[25]. Vào năm 538 trước Công Nguyên, vua Belshazzar khi đang dự yến tiệc ở kinh thành Babylon thì bỗng thấy có bàn tay người hiện ra viết một dòng chữ lên tường thành, vội triệu tiên tri Daniel vào hỏi thì ông giải nghĩa dòng chữ, rằng Thiên Chúa đã phán quyết Đế quốc Babylon đã đến hồi diệt vong. Quả nhiên, vua nước Ba Tư thân chinh điều động binh mã tinh nhuệ phạt nước Babylon và lật đổ Belshazzar, tiêu diệt luôn cả Đế quốc của ông ta. Sau thắng lợi vang dội này, Cyrus Đại đế liền ban bố thánh chỉ[26][27][28]:

Không những dân Do Thái mà tất cả các dân tộc tù đày trong Đế quốc Babylon đều được vua Cyrus Đại Đế ban bố tự do cho trở về cố hương. Khác xa các vua Ai Cập và Babylon trước đây, ông là vị vua anh minh, nhân đạo và có ngự bút viết: "Trẫm đã quy tụ tất cả các dân tộc đó và Trẫm cho phép họ được về quê hương của chính họ"[28]. Theo huấn lệnh của nhà vua, quan Tổng đốc tỉnh Judah là Sheshbazzar - người có dòng dõi vua David - dẫn nhóm người Do Thái đầu tiên trở về thành Jerusalem. Hai năm sau, tức năm 536 trước Công Nguyên, người cháu của David là Zerubabbel dẫn thêm một nhóm người Do Thái thứ hai trở về cố hương, chấm dứt kiếp tù đày của họ. Trở về, trước cảnh hoang tàn của thành Jerusalem họ hết mực đau buồn[28]. Kể từ triều đại Cyrus Đại Đế, dân Do Thái cũng xuất hiện ở Iran[29]. Ông cũng ban của cải và vật liệu xây dựng đền thờ cho vị quan Tổng đốc này. Từ năm 538 TCN cho đến năm 535 TCN, quan Tổng đốc Zerubabbel đã dẫn dắt nhóm người Do Thái đầu tiên về quê hương. Với chính sách tự do tôn giáo, triều đình Cyrus Đại Đế còn bỏ ra tiền của ngân khố quốc gia Ba Tư giúp nhân dân Do Thái xây dựng lại đền thờ[30][31].

Việc xây dựng Đền thờ thứ hai, được hoàn thành vào năm 516 TCN dưới triều vua Darius Đại Đế 70 năm sau khi Đền thờ Thứ nhất bị phá hủy[32][33]. Khi Alexander Đại Đế chinh phục Đế quốc Ba Tư, vùng đất Israel rơi vào quyền cai trị của người Hy Lạp cổ (Hellenistic Greek), cuối cùng lại mất vào tay Vương quốc Ptolemaios rồi lại mất vào tay Vương quốc Seleukos. Triều đình Seleukos cố gắng cải tạo lại Jerusalem khi một thành phố theo văn minh Hy Lạp trở thành người đứng đầu sau khởi nghĩa Maqabim thành công năm 168 TCN lãnh đạo bởi tu sỹ Mattathias cùng với 5 người con trai của ông chống lại Antiochus Epiphanes, và họ thành lập Vương quốc Hasmoneus năm 152 TCN với Jerusalem một lần nữa là kinh đô của vương quốc[34]. Vương quốc Hasmoneus kéo dài trên một trăm năm, nhưng sau đó khi Đế quốc La Mã trở nên hùng mạnh hơn họ đưa Herod lên làm vua chư hầu người Do Thái. Vương quốc của vua Herod cũng kéo dài trên một trăm năm. Bị người Do Thái đánh bại trong cuộc khởi nghĩa Do Thái thứ nhất năm 70, cuộc chiến tranh Do Thái - La Mã đầu tiên và cuộc khởi nghĩa Bar Kokhba năm 135 đã đóng góp đáng kể vào số lượng và địa lý của cộng đồng Do Thái ở nước ngoài, do một phần lớn dân số Do Thái của vùng đất Israel bị trục xuất rồi bị bán làm nô lệ trong toàn Đế quốc La Mã.